Các thư tịch cổ mâu thuẫn về nguồn gốc gia đình của Lưu Khiêm, song tựu trung ông xuất thân từ một gia đình có địa vị khiêm tốn. Theo Tân Đường thư, ông là người Thượng Thái, song đến sống ở Phong châu do nhiễu loạn ở quê hương.[3] Theo Cựu Ngũ Đại sử, phụ thân ông là Lưu Nhân An (劉仁安) đến sống ở Lĩnh Nam sau khi giữ chức Triều châu[chú 4] trưởng sử.[1] Theo Tân Ngũ Đại sử, phụ thân ông là Lưu An Nhân (劉安仁) là người Thượng Thái và chuyển đến vùng Mân (tức Phúc Kiến), sau trở thành một thương nhân ở vùng Nam Hải.[2] Cuối cùng, Lưu Khiêm một sĩ quan cấp thấp trong quân đội của Thanh Hải quân. Mặc dù có xuất thân khiêm tốn, cựu Tể tướng- Lĩnh Nam Đông đạo (sau đổi tên thành Thanh Hải quân) tiết độ sứ Vi Trụ (韋宙) nhận thấy tài năng của Lưu Khiêm nên quyết định gả một người cháu gái[chú 5] cho Lưu Khiêm. Khi vợ của Vi Trụ phản đối, Vi Trụ nói: "Đó là người phi thường. Có lẽ sẽ có ngày con cháu ta có thể dựa vào hắn."[1] Sau đó, Lưu Khiêm lập được công trong các chiến dịch chống các đội quân khởi nghĩa nông dân.[4]

Năm 879, quân nổi dậy của Hoàng Sào tràn vào thủ phủ Quảng châu của Lĩnh Nam Đông đạo. Sau khi Hoàng Sào từ bỏ Quảng châu vào năm 880, khu vực rơi vào cảnh hỗn loạn.[5] Lưu Khiêm thừa cơ chiếm cứ Phong châu.[3] Năm 883, Đường Hy Tông bổ nhiệm Lưu Khiêm làm Phong châu thứ sử.[4] kiêm Hạ Thủy trấn[chú 6] sứ.[3]